Learning Geometric Representations from Videos for Spatial Intelligent Multimodal Large Language Models
从视频中学习几何表示赋予多模态大模型空间智能
🧭 多模态大模型空间推理 · 视频几何表示
University of California, Davis
GeoVR框架通过2D视频蒸馏3D几何知识，重塑MLLM内部表示以增强空间感知
📌 工作参考价值（4 点）
- 利用预训练3D模型蒸馏，无需3D数据：对于电商中的3D商品展示、虚拟试穿等场景，可借鉴GeoVR的蒸馏范式，通过现有3D模型（如DUSt3R）从商品视频中提取几何知识，注入2D视觉模型，避免昂贵3D标注。
- 多目标几何约束增强空间一致性：四个互补目标（相机位姿、深度图、公制尺度、多尺度特征对齐）可迁移到物品视频理解任务，例如从商品旋转视频中联合优化，提升尺寸估算、空间关系推理的可靠性。
- 解耦微调策略，低成本提升现有模型：GeoVR仅微调视觉编码器，冻结LLM，这种做法可复用到推荐系统的视频理解组件中，在不大幅增加训练成本的前提下增强物品的空间表示。
- 为虚实融合场景提供基础：在AR购物、虚拟空间布局推荐等Agent任务中，空间智能是核心瓶颈，GeoVR的表示重组思路启发我们如何从大量2D交互视频中学习稳定的几何先验。